将csv文件导入到hbase中 您所在的位置:网站首页 hbase 导入文件 将csv文件导入到hbase中

将csv文件导入到hbase中

2024-07-01 18:04| 来源: 网络整理| 查看: 265

1.将csv文件拖到/opt下

 

 

2、将本地的csv文件上传到HDFS上去

 

 

3、之后将上传到HDFS上的文件导入到HBase中。

首先在HBase中建一个表用来存放这个文件的数据:

create_namespace 'Test' (没有命名空间先创建命名空间) create 'Test:test','info1','info2'

这里,命名空间为'Test',表名为‘test’ ,列簇名为info1,info2  

4、借用mapreduce的包,将csv文件导入到刚才创建的表中。

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=',' -Dimporttsv.columns=HBASE_ROW_KEY,info1:name,info1:age,info2:sex 'Test:userinfo' /hbase/datas.csv

这里使用了ImportTsv方法,参数Dimporttsv.separator为定义分隔符为',' ,Dimporttsv.columns则是定义对应的列名,这里需要注意,第一个是需要指定row的位置,因为在我之前csv文件中第一行就是用来做为row的,所以这里的位置在第一个,那么灵活变动,如果你的row不在第一行,就把HBASE_ROW_KEY放到对应的位置上,然后后面则是将csv中的列age和name列名都放到了info1,age和sex列名都放到了info2这个列簇下面,在后面跟的就是对应的表名,以及要导入的文件在HDFS的路径。

查看结果:



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有